As It Was: Aligning LLM Search Evaluation with Historical User Preferences
如其所是：用历史用户偏好对齐LLM搜索评估
🧭 行为接地增强LLM搜索评估 ★ 深度解读
Spotify
提出行为接地（QRI卡片）LLM法官，用极简的去偏交互摘要提升搜索评估与用户偏好的一致性
📌 工作参考价值（5 点）
- 电商搜索评估可直接复用 QRI 卡片：对每个候选商品聚合历史上相似查询的点击/加购/转化率（经 IPS 去偏）与曝光量，作为 LLM 评判时附带的「行为证据卡片」。尤其对长尾查询或歧义词（如“苹果”），能有效约束语义偏差，提升评估与线上指标的一致性。
- 用简易 IPS 获得轻量级去偏信号：工程上只需一个单调的位置倾向曲线即可计算无偏相关度，无需复杂 click model，适合高时效性系统快速上线。
- Prompt 设计上强调辅助而非替换：明确要求 LLM 将 QRI 视为支持性上下文而非直接答案，仍以语义推理为主，仅在歧义或平局时才启用行为信号，防止历史偏见过度主导。
- 离线评估替代线上 A/B：论文证明行为接地法官与线上胜负方向的 alignment 提升（30.6%→36.8%），可加速模型迭代，降低实验成本。关键要保证行为证据窗口与评估窗口无时间重叠，避免数据泄露。
- 多语言场景增益显著：多语言人工标注集上，接地后相关性提升+15%，对跨境电商/多市场搜索评估尤其值得尝试。